課程資訊
課程名稱
 數值優化
Numerical Optimization 
開課學期
 103-2 
授課對象
 理學院  數學研究所  
授課教師
 薛克民 
課號
 MATH5414 
課程識別碼
 221 U5700 
班次
  
學分
 3 
全/半年
 半年 
必/選修
 選修 
上課時間
 星期二7,8(14:20~16:20)星期四@(~) 
上課地點
 天數304天數304 
備註
 總人數上限：30人 
Ceiba 課程網頁
 http://ceiba.ntu.edu.tw/1032MATH5414_ 
課程簡介影片
 
核心能力關聯
 本課程尚未建立核心能力關連
課程大綱
為確保您我的權利,請尊重智慧財產權及不得非法影印
課程概述

Topics (tentative) to be discussed include:

1. Unconstrained minimization

2. Constrained minimization

3. Special topics
(a) Nonlinear least squares
(b) Global optimization
(c) Optimization for differential equations

Applications of the described numerical optimization methods will be given to problems
arising from signal processing, inverse design, and others, see the website:
http://www.ceremade.dauphine.fr/~peyre/numerical-tour/tours/#optim
for an example. 

課程目標
 本課程之目標為:
1. 講授基本的數值最佳化方法: 它的建構過程與理論基礎,
2. 數值驗證最佳化方法之理論行為與應用. 
課程要求
 先修課程: Numerical linear algebra, or its equivalence 
預期每週課後學習時數
  
Office Hours
 另約時間 
指定閱讀
  
參考書目
 1. J. Nocedal and S. J. Wright, Numerical Optimization, 2nd [electronic resource], Springer,
2006.
2. J.E. Dennis, Jr., Robert B. Schnabel, Numerical methods for unconstrained optimization and
nonlinear equations [electronic resource], SIAM 1996.
3. I. Griva, S.G. Nash, A. Sofer, Linear and Nonlinear Optimization
[electronic resource], 2nd, SIAM 2009.
4. M.C. Ferris, O.L. Mangasarian, S.J. Wright, Linear Programming with
Matlab, SIAM 2007.  
評量方式
(僅供參考)
  
No.
項目
百分比
說明
1. 
 Homework 
50% 
  
2. 
 Final project 
50% 
  
 
課程進度
週次
日期
單元主題
第18週
 06/23  Term project due 
第1-1週
 02/24  Course overview & some examples 
第1-2週
 02/26  Unconstrained optimization: Newton's method 
第2-1週
 03/03  Guaranteeing descent & line search method for guaranteeing convergence 
第2-2週
 03/05  Line search methods 
第3-1週
 03/10  Least-squares example & trust-region methods 
第3-2週
 03/12  Practical trust-region methods 
第4-1週
 03/17  Practical trust-region method &
inexact Newton methods 
第4-2週
 03/19  Linear program: Optimality & duality 
第5-1週
 03/24  Optimality conditions for constrained problems 
第6-1週
 03/31  Active-set methods 
第6-2週
 04/02  Spring break (No lecture) 
第7-1週
 04/07  Sequential quadratic programming &
reduced-gradient methods 
第8-1週
 04/14  Barrier methods for nonlinear inequality constrained
problems 
第9-1週
 04/21  自我學習週 (No lecture) 
第9-2週
 04/23  自我學習週 (No lecture); term project proposal due 
第10-1週
 04/28  Primal-dual interior-point methods 
第10-2週
 04/30  Penalty methods &
augmented Lagrangian methods 
第11-1週
 05/05  Semidefinite programming 
第11-2週
 05/07  Duality theory for linear program 
第12-1週
 05/12  Duality theory for nonlinear optimization 
第13-1週
 05/19  Convex nonsmooth optimization:
l1 minimization problems 
第13-2週
 05/21  Subgradients 
第14-1週
 05/26  Subgradient methods &
ISTA for l1 minimization  
第14-2週
 05/28  Split Bregman method for l1 minimization 
第15-1週
 06/02  Split & linearized Bregman methods
 
第15-2週
 06/04  Matrix rank minimization 
第16-1週
 06/09  Low-rank matrix optimization problems 
第16-2週
 06/11  Principal component analysis (PCA) &
robust principal component analysis (RPCA) 
第17-1週
 06/16  Proximal gradient methods
 
第17-2週
 06/18  Fast proximal gradient method & FISTA